Tool Retrievers Are Underestimated: Annotation Expansion Reveals True Capability
工具检索器被低估：标注扩展揭示真实能力
🧭 工具检索评估 · 标注扩展
Shenzhen International Graduate School, Tsinghua University · Peking University · Meituan, Beijing
提出ToolEX自动发现功能等效工具组合，扩展基准为ToolEQ，证明一对一标注系统性低估检索器，微调增益中30-47%是评估伪迹
📌 工作参考价值（4 点）
- 评估召回/检索系统时，若 query 存在多个等价结果（如同义商品、替代品、功能相同工具），单一 ground truth 会低估模型；可借鉴 ToolEX 做等价扩展，构建更公平的测试集，避免误杀有效召回。
- 微调收益评估需警惕标注缺陷：论文发现 30-47% 的微调提升是评估伪迹。建议上线前用扩展后的多正例评估集复测，量化真实增量，尤其当训练数据与测试标注同源时。
- ToolEX 自动发现等价工具组合的流程（生成候选 + 功能等价验证）可迁移到电商搜索/推荐：对同一 query 挖掘多条等价商品、广告或服务组合，用于多正例学习或评估鲁棒性。
- 如果业务中做 Agent 工具检索或 API 推荐，注意同一功能通常有多个实现，检索评估与训练不能基于一对一的刚性标注，需支持一对多映射。